home *** CD-ROM | disk | FTP | other *** search
/ Power Tools 1993 October - Disc 2 / Power Tools (Disc 2)(October 1993)(HP).iso / hotlines / cpethl / specmark / b01c001t.txt next >
Text File  |  1992-08-06  |  5KB  |  110 lines
  1. Systems Performance Evaluation Cooperative (SPEC)
  2.  
  3. by Larry Gray, Workstation Performance Evaluation
  4.  
  5. Management Summary
  6.  
  7. The Systems Performance Evaluation Cooperative (SPEC) is not unique in
  8. the world of computer system benchmarking and performance evaluation.
  9. SPEC's primary goal is to create and distribute application-like
  10. benchmarks that fairly measure the performance of computer systems.
  11. There are other organizations (profit and non-profit) with similar
  12. aspirations, serving the needs of computer system users and vendors by
  13. supplying means for independent comparison of various machines.
  14.  
  15. SPEC does not intend to duplicate efforts of other groups dedicated to
  16. benchmark standards, nor will it be a competitor.  Rather SPEC seeks to
  17. cooperate in any manner possible to further the goals of such groups to
  18. promote consistency and control in the computer system measurement
  19. arena.  At present SPEC is aware of four active groups with similar
  20. goals, but whose work is focused on specific types of computing -
  21. Transaction Processing Performance council (TPC), National Computer
  22. Graphics Association (NCGA), AFFU, and The Perfect Club.  (see the
  23. Benchmark Glossary article in this issue for details about these
  24. organizations).
  25.  
  26. SPEC currently has 23 members that consist of virtually all the major
  27. names in the business:  Arix, AT&T, Bull S.A., Compaq, Control Data,
  28. Data General, Digital Equipment (DEC), Dupont, Fujitsu, HP/Apollo, IBM,
  29. Intel, Intergraph, MIPS, Motorola, NCR, Prime, Siemens, Silicon
  30. Graphics, Solbourne, Stardent, SUN, and Unisys.
  31.  
  32. Release 1.0 Benchmarks
  33.  
  34. SPEC announced the availability of its first suite of benchmarks known
  35. as Release 1.0 on October 2, 1989.  In addition to the set of proposed
  36. standard benchmarks, SPEC has published results on many vendor systems
  37. in its quarterly newsletter.  The trade press and industry consultants
  38. have since produced several favorable articles on the benchmarks.
  39.  
  40. The Release 1.0 suite of benchmarks was chosen from over 50 submissions
  41. and contains 10 CPU intensive application-based benchmarks that met the
  42. SPEC criteria of portability, public access, and system loading or
  43. reasonably long run-time.  The benchmarks run only on UN*X or DEC VMS
  44. systems.  Portability across platforms is a key requirement that can
  45. not be met with proprietary operating systems such as MPE.
  46.  
  47. You will doubtless find the results interesting since, in the
  48. workstation market, many of our top competitors are represented.  Some
  49. charts will be provided in future issues of pn2 for vendor comparisons.
  50. SPEC recommends that users examine individual benchmark results in
  51. detail rather than rely only on the SPECmark.  See the SPEC Benchmark
  52. Release 1.0 Summary at the end of this article for data on the HP 9000
  53. Model 834.
  54.  
  55. The SPECmark
  56.  
  57. The SPECmark, or single number, is similar to VAXMIPS (integer MIPS)
  58. but this first suite, heavily weighted towards floating point, is
  59. predominately CPU intensive.  It was the SPEC members' intent and
  60. desire to offer a set of benchmarks that did encompass CPU, I/O,
  61. memory, graphics, and other system components but such code was simply
  62. not available, portable, or feasible to use.  Also, SPEC members are
  63. not advocates of the "one number theory" for system performance rating.
  64. The rationale is that if SPEC did not create a single number then the
  65. press would find various ways of summarizing results thereby diluting
  66. the value of otherwise tightly controlled metrics.
  67.  
  68. The Future
  69.  
  70. SPEC members have been working diligently to add to the Release 1.0
  71. suite and a release 2.0 is slated for the first quarter of 1991.
  72. Release 2.0 does consist of several "system" benchmarks that do
  73. significant disk I/O and multi-tasking.  Release 2.0 will also bring
  74. additional metrics.  The SPECmark will be re-defined to include I/O
  75. performance, while I/O, Floating Point and CPU performance will also be
  76. separately reported.
  77.  
  78. All new benchmarks will be made as compliant with POSIX standards as
  79. possible.  This may allow execution on some POSIX compliant proprietary
  80. operating systems.
  81.  
  82. SPEC Release 3.0 may well contain multi-user benchmarks where
  83. throughput is the primary measure.  SPEC's goal is to constantly
  84. improve the suite by adding better application based benchmarks and
  85. eliminating others.
  86.  
  87. Conclusions
  88.  
  89. The SPEC benchmarks seem to have been well accepted by the user
  90. community.  We see SPEC results requirements showing up in more and
  91. more RFPs (Request For Proposal).  The US Navy and Air Force have
  92. adopted the SPECmark as their metric for processor performance as have
  93. several Fortune 500 companies.
  94.  
  95. SPEC meetings are open and very well attended.  Most vendors have 2 to
  96. 4 people at each meeting and many people attend from non-member
  97. companies.  HP usually has 3 and could use more.  Anyone who could
  98. participate in SPEC on a long-term basis is encouraged to join us.  The
  99. more engineering effort applied, the sooner you will see more and
  100. better benchmarks in the marketplace.
  101.  
  102. If you are interested in keeping up with SPEC results you are
  103. encouraged to subscribe to the SPEC newsletter.  Four issues costs on
  104. $150 and can be obtained by writing or calling:
  105.  
  106. Waterside Associates (SPEC administrators)
  107. 39150 Paseo Padre Parkway
  108. Fremont, CA  94538
  109. (415) 792-2901
  110.